Năm Minh Mạng thứ 13 (1832), Tôn Nhơn phủ mới có một trụ sở làm việc riêng biệt đặt ở phường Trung Thuận trong kinh thành Huế, với một căn nhà chính gồm hai gian ba chái và hai nhà phụ.[3]

Sau mấy lần tu bổ vào các năm 1890 và 1903 triều Thành Thái, tòa Tôn Nhơn phủ lại được xây dựng mới vào năm 1909 triều Duy Tân, diện tích 19m x 18m, nền cao 0,95m; với tường xây có nhiều cửa cái và cửa sổ. Trên mái tòa nhà là hình ảnh "lưỡng long triều nguyệt" quen thuộc của người Việt xưa, miêu tả hai con rồng đang vờn mặt trăng.

Gian giữa tòa nhà là nơi làm việc của vị hoàng thân đứng đầu Tôn Nhơn phủ, còn hai gian kia dành làm văn phòng của hai vị phụ tá.

Trên vách và các cột có nhiều câu đối của các hoàng thân và đại thần trong triều, nội dung biểu dương người sáng lập ra phủ, ca ngợi dòng dõi hoàng gia hoặc cầu chúc triều đại được trường tồn.

Ngoài ra còn có hai bức tranh đợc treo trong tòa nhà chính: bức thứ nhất vẽ chân dung của một vài vị đại thần thuộc hoàng tộc; bức thứ hai vẽ khu vườn và tòa nhà Tôn Nhơn phủ.[3]